リザバー計算(Reservoir Computing; RC)
リカレントニューラルネットワーク(Recurrent Neural Network; RNN)の一種
通常のRNNでは学習に通時的誤差逆伝播法(Backpropagation Through Time; BPTT)などを使って中間層の結合をチューニングするが、リザバー計算では中間層は膨大な計算素子をランダムに結合をしたもの(リザバー)を採用し、この結合は変化させずに、リードアウト部分だけで学習を行う。
https://youtu.be/wbH4En-k5Gs?si=suwCIWbQflgnZIpv
チュートリアル
Simple Echo State Network implementations
https://mantas.info/code/simple_esn/
リザバー計算のリザバーは「フィルターバンク」で、しかしわざわざ〈上手く〉用意しなくてもランダム結合ネットをわさっと与えさえすれば、高々線形読み出しで任意の関数をつくれる Twitter
Embedding and approximation theorems for echo state networks
https://www.sciencedirect.com/science/article/abs/pii/S0893608020301830
生物との関連
脳型人工知能開発(N予備校)
脳の記憶の動的メカニズム(第3回：脳の記憶システム理解の次なるステップ)
Naa_tsure.iconリザバーが何故嬉しいかという話
学習する時に全ての神経細胞間の重みを変更するのはあまりに大変
神経においても一部の神経のみの可塑性を変えることで学習しているのでは？
Mastrogiuseppe, F., & Ostojic, S. (2018). Linking connectivity, dynamics, and computations in low-rank recurrent neural networks. Neuron, 99(3), 609-623.
Rajan, K., Harvey, C. D., & Tank, D. W. (2016). Recurrent network models of sequence generation and memory. Neuron, 90(1), 128-142.
Hayashi-Takagi, A., Yagishita, S., Nakamura, M., Shirai, F., Wu, Y. I., Loshbaugh, A. L., ... & Kasai, H. (2015). Labelling and optical erasure of synaptic memory traces in the motor cortex. Nature, 525(7569), 333-338.
Francis, N. A., Winkowski, D. E., Sheikhattar, A., Armengol, K., Babadi, B., & Kanold, P. O. (2018). Small networks encode decision-making in primary auditory cortex. Neuron, 97(4), 885-897.
物理リザバー計算(physical reservoir computing)